Triton GPU编程语言深度实战：从矩阵乘法到Flash Attention、内核融合与AI编译器优化的完全工程指南
Triton是由OpenAI开发的开源GPU编程语言，提供类似Python的高级语法同时达到接近手写CUDA的性能。本文深入讲解Triton的编程模型、矩阵乘法优化、Flash Attention实现、内核融合技术以及在PyTorch生产环境中的最佳实践。
Flash Attention
从第一性原理推导 Flash Attention：IO 复杂度、Tiling 策略与在线 Softmax 的数学工程
从第一性原理出发，深入推导 Flash Attention 的核心数学变换，分析 IO 复杂度下界，解析在线 Softmax 的修正引理，讨论 Tiling 策略、SRAM 分区与工程落地中的关键细节。覆盖 Flash Attention 1/2/3 的演进与不同硬件的调优参数。
Pallas GPU 内核编程：XLA 编译器 + Hopper TMA 异步拷贝的 SMEM 流水线深度实战
Pallas 是 JAX/XLA 生态中用于编写高性能自定义 GPU 的底层编程模型，它通过 pallas_call 入口和 AsyncCopy 原语，让开发者既能利用 XLA 编译器的全局优化能力，又能精细控制 Hopper 架构的 Tensor Memory Accelerator (TMA) 硬件单元。
深入理解大语言模型推理优化：从 KV Cache 到 Flash Attention 的全栈实战
深入剖析大语言模型推理优化技术链，覆盖 KV Cache 算法本质、内存瓶颈分析、Flash Attention 从 IO 感知到精确注意力计算、PagedAttention 与 vLLM 内存管理、投机解码原理与实现、以及量化技术在推理加速中的应用。
